игорий, [Га БегОемсез 


Немного о себе 


ЗепюгВака Зсеп($ в Гауегс 2021 


@) Работаю в компьютерном зрении 
ПЯТЫЙ ГОД 


@®) Пишуна Руроп и С++ 


Занимался различными 
проектами отвидеоаналитики 
для ритейла иумных городов 
до подсчета свиней на ферме 
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Монетизация фото- и видеоконтента: Ггп-Гтазёе 


Ц 


К!О$ ВИНТАЖ МАМ КРАСОТА ЗВЁЗДЫ ОТНОШЕНИЯ КЮ$ ВИНТАЖ МАМ МОДА КРАСОТА ОТНОШЕНИЯ 


ыы 


Найдено через Гауег 


10 9992 21 200? 11 6002 ы 33 900? = ка 6 099 г 
стр Впишите оао а дет олонь А лаит5" 
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Монетизация фото- и видеоконтента: Тп-Гтазе 


Особенности 


Каждый день новые статьи 


2] Большое количество просмотров. 
нужно чтобы при просмотре данные 
были актуальные 


5) Декодируются {ре?, рпё и прочие 
форматы изображений 


(© Гауег | (5 СсВЕВ ОЕ\/|СЕ$З 


Монетизация фото- и видеоконтента: \!з ца! ЗеагсЬ 


Куртка кожаная женская Х$ 


Состав: искусственная кожа 
Код товара: 100012302909 


Похожие товары в наличии 


4 999 руб 11 000 руб 3 000 руб 
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Монетизация фото- и видеоконтента: \!5 ча! ЗеагсПй 


Особенности 

Миллионы товаров 

2. Нужно постоянно обновлять 

5 Непредсказуемые форматы изображений 


4 Поиск по большому индексу 
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Монетизация фото- и видеоконтента: генерация индекса 


Индекс 
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Монетизация фото- и видеоконтента: Тп.-\Лаео 


Актёры Мебель 


Кожаное кресло Дизайнерское 
Спезтег черное кресло О! оЙ черное 


49 000? 25 500 ? 


Кожаное кресло 
Спезтег черное 


200 000 ? 


@21ауег | С7$ВЕВ ОЕМСЕ$ 


Монетизация фото- и видеоконтента: Тп-\Лаео 


Особенности 
Работа в реальном времени 
2. Максимум АО мс на ответ Ге. 


5 Нужно декодировать видео 
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агрузки 


зна! Зеагсй 


енерация индексов 


Платье женское \!5ега! 10047-грф 4111200 серое 52 В 


Похожие товары 


Размер ВЦ 


44 46 48 50 |52) 
Ф 


Таблица размеров 

Размер ВИ: 52 

Размер производителя: 52 ВЦ 
Материал: полиэстер; вискоза; лайкра 
Материал подкладки: без подкладки 
Цвет: серый 

Стиль: офисный 

Особенности: с разрезом спереди 

Код товара: 100030032899 


Все характеристики 


Примерка 
Покупайте только то, что подошл. 


оо 
00 Женские платья 


$ Женские платья \М15ега! 


8$ Мега! 


дрее, мер... 


п-Гтаге 


Жюли Феррери для жаркого лета в Аяччо выбирает классические образы в светлых оттенках. 
‘Сегодня для прогулки французский инфлюенсер сделала ставку на светлый жакет в полоску, 
короткие шорты из денима и простую белую майку. Образ девушка дополнила сумкой юг 
карамельного оттенка, кожаным ремнем, солнцезащитными очками ВоЦеза Уепега и золотыми 
украшениями. 


ТилАЛаео 


НЕ$, \\Мер ВТС 


Ме! презентовал новый сериал про повелителя царства снов Морфея. 


СЕГОДНЯ ЧИТАЮТ 


Имена девочек, 
которые были 
популярны в СССР — 
есть ли у них шанс 
вернуться в моду 
А 40 лет жизнь только 
/ ИВ начинается: главное 
М\ 2% свадебное платье в 
жизни Веры Вонг 
Сиенна Миллер (в 5еМ-Роигаи) бежавший Анатолий 
Белый вновь обратился 
кроссиянам 
Ждет многомиллионный Тайна семьи Соддер: пятеро Четыре обязательные вещи, 


гонорар: оскандалившийся детей бесследно пропали из которые нужно сделать 
‘Сабуров объявил о новом... ‘дома во время пожара, но... ‘сейчас, чтобы избежать ново... Тайна семьи Соддер 
©6282 © 34140 ©6172 пятеро детей бесследно. 
пропали из дома во 
время пожара, но 
В 2019 году стриминговая платформа Мех подписала контракт на производство. полиция отказалась их. 
сериала «Песочный человек» по одноименному комиксу Нила Геймана. Главный герой ет 
В зоне риска 
вакцинированные 8) 


«Песочного человека» начались в октябре 2020-го — несколько позже, чем о икю 


- поразивший Чубайса, 
планировалось изначально. В планы создателей вмешалась пандемия коронавируса. 


впервые привел к 
смерти 


произведения — повелитель царства снов Морфей, который попадает в плен к колдуну | 
Родерику Берджессу, однако позже ему удается вырваться на свободу. Съемки я 
Я 


Категории 


Ассеззонез 


[ ауег 
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Клиент-серверная архитектура 


Ва апсег 
апа Ба*спег 


Васкепа 


Батч старых байт 


Векторы признаков 
у 


Массив из М чисел. 
описывающий объект_-__/ 


Васкепа 


Егопкепа 
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Детали пайплайна распознавания одежды 


| эмседдинг М 


по индексу 


Определение пола Пол: женский 
и возраста Возраст: 59 


Экстракция 
объектов 
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Варианты оптимизации 


Модель 


Инференс и батчинг 


Вспомогательный код 


с» 
№ 
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Варианты оптимизации 


Модель 


Инференс и батчинг 


Вспомогательный код 


(ы 
СМ 
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Оптимизация моделей 


[12ег тоае!| 


спо!се 


Кпомлеа=е 
Ч$еШавой 
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Оптимизация моделей: многозадачность 


АЯ 
й 
Слои 
нейронной 
сети 


„- Задачи - \ 
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Оптимизация моделей: многозадачность 


Подход «в лоб» 


о 


® 


«х < © 


< / 


(5) 
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(2 
г- 


Оптимизация моделей: многозадачность 


53олза аза$ 2) | лэАел в) 


Е» 


Оптимизация моделей: многозадачность 


5зилза а3а$ ) | лэлел в) 


Оптимизация моделей: многозадачность 


(5) 
(<® 
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Оптимизация моделей: многозадачность 


СегБегиз Ме* 


а и Еиий сЕтй ини осаий тит ети Е ре НИЫ > 


#5 
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Варианты оптимизации 


Модель 


Инференс и батчинг 


Вспомогательный код 


7 
г 
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Варианты оптимизации 


Модель 


Инференс и батчинг 


Вспомогательный код 


В) 
№ 


@2тауег | С75$ВЕР ОЕМСЕ$ 


Оптимизация инференса 


На что обратить внимание: 
Оптимальные параметры 
2. Динамический батч 


5 Квантизация 


"-- 
ив 


ТепзогКТ Бы 
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Оптимизация инференса: динамический батч 


Время обработки, мс 


160 _ 


100 _ 


15 


Размер батча 


20 


25 


50 


(&) 
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Оптимизация инференса: динамический батч 


Время обработки, мс 


160 _ 


140 _ 


120 _ 


100 _ 


Время до ответа 


| 


@) < Текущий размер батча 


Размер батча 


50 
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Оптимизация инференса: динамический батч 


Время обработки, мс 


160 _ 


140 _ 


120 _ 


100 _ 


Время до ответа 


@) < Текущий размер батча 


Размер батча 


50 
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Батчинг 


Источники 


Логика сбора батча 
| 


Брокер 
сообщений 


Сервисы 


с» 
в 
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Особенности динамического батчинга 


Конвертация 
и работа с ТКТ 


Нужно собирать 
статистику 
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Варианты оптимизации 


Модель 


Инференс и батчинг 


Вспомогательный код 


8) 
© 
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Варианты оптимизации 


Модель 


Инференс и батчинг 


Вспомогательный код 


©» 
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Оптимизация кода: С++-модуль для Ру{Поп 


Все эти операции целиком 
выполняются на СОРИ: 


ЭЗРЕС-кодирование / декодирование 


@) Любая обработка изображений на ОрептСУ\У: обрезка, 
экстракция масок, нормализация, ит.д. 


@» Конвертация: ОрепС\ Ма+ <-> ТЕТ /Тогср Тепзог 


@» Инференс моделей на Тепзог ВТ 


@3) Центральный менеджер памяти СРИЦ 
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Почему это важно? 
ка ме 


(7) 
ш 
о 
> 
ш 
С 
[аа 
ш 
СП 
Ц 
о 
Сы 
Ф 
> 
( 
— 


Почему это важно? 
Ш |& к а 
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Лишние аллокации 


Фильм 1 


Статья 


из журнала 


Набор буферов 


1920х1080 


1280х720 
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Лишние аллокации 


ФИЛЬМ 


нь 5 


Статья 


из журнала 


Набор буферов 
ОИ 


1920х1080 


1280720 


Се 
и 
ил 
с) 
| 
Ф 
— 
|<. 
= 


Лишние аллокации 


Фильм 1 


Фильм 2 


Статья 
из журнала 


Набор буферов 


1920х1080 


1280х720 


$) 
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Лишние аллокации 
Набор буферов 


Фильм 1 


1920х1080 


Фильм 2 


1280х720 


Статья 
из журнала 
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Почему не Ммага Тикоп Тиегепсе Зегуег 


Своя обработка ошибок 


ТиКоп штегепсе 


бЗегуег Гибкость и свои интерфейсы 


Легковесность Скорость 
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Сравнение скорости декодирования 


Ттаее / зес 


5000 _ 


2500 _ 


2000 _ 


1500 _ 


1000 _ 


5О0 _ 


® РАЕТ 
Фито 


= № | | 
1 2 4 6 8 


Ваесй зе 


16 52 64 128 
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Использование СРИ 


Перенос инференса и всех 


операций на СРИ 


5) 
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Использование СРИ 


Перенос инференса и всех 


операций на СРИ 


Большая загрузка карты 


при «простаивании» СРЫУ 


в) 
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Использование СРИ 


Перенос инференса и всех 
операций на СРИ 


Передача части операций 
СРО 


Большая загрузка карты 
при «простаивании» СРЫУ 


г» 
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Использование СРИ 


Перенос инференса и всех 
операций на СРИ 


Передача части операций 
СРО 


Большая загрузка карты 
при «простаивании» СРЫУ 


Более равномерная 
загрузка девайсов 
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Использование СРИ 


Перенос инференса и всех 
операций на СРИ 


Передача части операций 
СРО 


Чем можно загрузить СРУ?® 


Распаковка рп и мер 
@ Попытка восстановления битых рег 
@» Глбридный режим для декодирования 


Большая загрузка карты 
при «простаивании» СРЫУ 


Более равномерная 
загрузка девайсов 
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О языках 


Совсем другой язык: чипа, Фо|ап?, Киз$к, С++ 
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О языках 


Совсем другой язык: чипа, Фо|ап?, Киз, С++ 


2. Почти питон: МитБа, Су«{Поп 
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О языках 


Совсем другой язык: чипа, Фо|ап?, Киз, С++ 
2. Почти питон: Митра, Су{Поп 


5 Модули на С++, основной РуПоп 


Се 
и 
ил 
с) 
= 
Ф 
— 
|<. 
= 


Варианты оптимизации 


Модель 


Инференс и батчинг 


Вспомогательный код 


8) 
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Варианты оптимизации 


Модель Инференс и батчинг Вспомогательный код 


Ускорение 
_- 10| 


$) 
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Варианты оптимизации 


Вспомогательный код 


Модель Инференс и батчинг 


Ускорение 


Бонус: ускорение тренировок моделей в @2Р9 раза 


5) 
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Спасибо за внимание! 


Оценить доклад 


Тае>=гат 


@<С@нгопу АекКзеепКо 


Канал команды в Тее?2гат 
{.те/Лауегс\у 


(нь) НЕНГоаа** 


